#policy gradient

5 篇

On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning

LLM 强化学习中训练-推理失配的成因与修正

🧭 LLM 在线强化学习训练稳定性

George Washington University · Duke University

拆分数值偏差与策略滞后，提出 DLC 校正，稳定异步采样下 LLM 在线策略训练

📌 工作参考价值（3 点）

在线 RL 训练 LLM 推荐文案/对话 Agent 时，若推理引擎与 trainer 分离，先对每个 prefix 的 score 做 centering 再计算 advantage，可去除推理引擎数值差异带来的近固定偏差；类似 advantage normalization，但要按 prefix 而不是全局批量做。
对异步采样引入的 policy lag，不要只做 per-token importance weighting；持续监控重要性权重的 ESS，低于 0.5 时强制同步 sampler 权重。该阈值在 Qwen3-1.7B 上被验证为崩溃临界点，可作工程默认触发条件。
别只监控 sampler 端前缀上的 KL，它检测不到由滞后反馈导致的塌缩；建议增加与 on-policy baseline 的 KL 对比或 trainer 侧 KL 监控，并配置自动 resync。

Training | 2026-10-28 | HF Daily | score 7/10

策略梯度估计中的基线项与分数中心化

🧭 RLHF/策略梯度估计·重要性采样

University of Illinois Chicago · Perplexity AI

用 reward 与 importance-weighted score 的协方差替代正则化 IS 策略梯度，厘清 group-mean baseline 与 score centering 的不同作用

📌 工作参考价值（4 点）

在电商/Agent 的 LLM RLHF 后训练中，若用 sequence-level PPO/GRPO 且 ratio 被 clip，直接用 batch 内 mean reward 作为 group-mean baseline 即可，不必再对 importance-weighted score 做额外 centering，降低实现复杂度。
若采用 token-level advantage（细粒度 reward/PPO），当 importance ratio 被 truncation/masking/clipping 时，必须对 importance-weighted score 做 score centering（减去总体均值，可用 moving average 估计），否则策略梯度会带偏置。
建议把梯度写成 Cov(reward, weighted_score) 而非单纯加权 reward；该形式天然对 constant reward shift 稳健，适合离线异步训练中 stale policy 的纠偏。
序列级 IS 下 score centering 无额外收益，token 级 IS 下则是必要修正；实现前先确认 reward/advantage 的粒度再决定是否引入 score centering。

Training | 2026-10-15 | cs.LG | score 7/10

规划学习：按剩余训练预算在交叉熵与策略梯度间插值的 horizon loss

🧭 训练损失函数 · 学习预算规划 ★ 深度解读

Google DeepMind

提出 horizon loss，依据剩余学习预算把交叉熵动态过渡到精确策略梯度，提升 top-1 准确率和抗噪能力

📌 工作参考价值（4 点）

在 CTR/CVR 预估、多分类、生成式推荐的 Semantic ID 分类等以 top-1/accuracy 为目标的任务中，可尝试把每样本 loss 改为 horizon loss：仅需计算 σ(z+H)-σ(z) 权重乘 ∇z，不改模型结构；需按数据集标定 κ 为剩余学习率之和的换算系数。
当训练数据存在点击噪声、错误标注或行为噪声时，cross-entropy 会在后期 memorization 噪声样本；horizon loss 会随着预算减少自动降低这些无法修复样本的权重，从而提升干净测试集 top-1，效果随噪声率增大而增强。
若目标是校准或 NLL（如知识蒸馏、温度校准），不要直接套 accuracy 版 horizon loss：应使用 planning cross-entropy（P_H[CE]/(1-e^{-H})），它会降低 NLL 但可能牺牲 accuracy；目标不同要选择对应 planning objective。
在 LLM post-training / RLHF 的 policy gradient 场景中，PG 的 myopic 分配缺陷同样存在；可以考虑在 policy gradient loss 中引入剩余 rollout 或训练步数作为 horizon，让早期像 likelihood、晚期像 reward，缓解对 lost causes 的过度投入。

Training | 2026-10-02 | cs.LG | score 8/10

迭代乘法的 RLVR 景观可良性：自旋玻璃理论的启示

🧭 RLVR 优化景观与推理训练

Racah Institute of Physics, The Hebrew University of Jerusalem

用自旋玻璃证明 RLVR 算法任务景观无局部极小，困难在扩散障碍与梯度误差；transformer 仅末 token 奖励可学算法思维链

📌 工作参考价值（4 点）

RLVR 训练卡住时先别归因于景观 rugged：在无关联输入的算法任务中景观通常无局部极小，应优先排查梯度估计噪声与 credit assignment，用更大 batch、动态采样或更稳的 baseline。
熵正则项选择是关键：调节 entropy regularizer 可缓解扩散障碍，帮助策略穿过平坦/高熵区域；在 LLM 推理 RLVR 可尝试调高熵系数，避免过早收敛到次优确定性策略。
只用 last-token reward 从零训练 transformer 也能学到非交换群乘法的算法 CoT，说明验证奖励加长序列生成可在无中间奖励下学会推理，值得在可自动验证的业务任务（如规则链推理、订单状态预测）尝试。
注意理论假设是 tabular/myopic/uncorrelated inputs，直接迁移到真实电商 Agent 需谨慎；但对 RLVR 训练调参和故障排查有方向性参考。

Reasoning | 2026-09-23 | stat.ML | score 7/10

掩码感知策略梯度：面向扩散语言模型的强化学习

🧭 扩散语言模型 · 强化学习训练

The University of Texas at Austin

将扩散语言模型生成分解为“选词”与“选位置”两步，策略梯度自然拆分成两项，联合优化在数学与代码推理上达到SOTA

📌 工作参考价值（4 点）

对电商/推荐中使用非自回归生成（如扩散模型生成商品序列或文案）有直接啓发：可将生成过程建模为两阶段 MDP——“生成什么 token”与“在哪些位置生成”，分离梯度后能更稳定地优化序列质量。
在 Agent 多步决策场景，如果动作包含“执行什么操作”和“在哪个目标上执行”，可借鉴本工作的动作空间分解，用对应的 mask 策略网络显式建模顺序决策，提升复杂任务表现。
工程实现上，可对现有 GRPO/PPO 等 RL 训练框架做简单改造：在计算每步 log 概率时，将 token 预测的 log-prob 与 mask 选择的 log-prob 相加，同时优化两个头，无需大幅改动训练管线。
该方法表明扩散生成的去掩码顺序严重影響效果，在线 RL 训练时联合学习生成顺序，比固定随机顺序有明显的增益（GSM8K 提升+2.5%），这提示我们在生成式推荐中，如果采用逐步生成，也应将生成顺序作为可学习策略，而非预定义。

LLM | 2026-07-16 | cs.LG | score 7/10